Фрагмент для ознакомления
2
3 Основные выпуклые функции
Для определения выпуклости функции существует мощный аппарат, позволяющий быстро и просто проверять, является ли та или иная функция выпуклой – не применять же каждый раз определение.
Для проверки непрерывности в математическом анализе обычно используется следующая логика: есть набор стандартных функций, про которые непрерывность известна, а также набор операций (типа сложения, умножения, деления, сложной функции и т.п.), которые сохраняют непрерывность или, как, например, в случае деления, сохраняют непрерывность при некоторых условиях.
По той же логике вычисляется и производная – производные стандартных функций известны, и есть правила дифференцирования сложения, умножения и т.п. Аналогично и в выпуклом анализе есть набор стандартных выпуклых функций и операций, которые сохраняют выпуклость. К выпуклым операциям также прилагаются правила вычисления субдифференциала.
Мы начнем с введения основных выпуклых функций, которые так или иначе появляются почти в любой выпуклой задаче.
3.1 Индикаторная функция
Индикаторная функция множества С Rd обозначается через ????с(????) = ????(???? |????) ∶ Rd → R ̅.
По определению, ????с(????) = 0 для всех ???? ∈ ???? и ????с(????) = +∞ для всех ???? ∉ ????.
1. Индикаторная функция ????с является (i) выпуклой, если и только если множество ???? выпукло, (ii) замкнутой, если и только если множество ???? замкнуто и (iii) собственной, если и только если ???? ≠ ∅.
Доказательство. Надграфик ????с в Rd+1 есть ???? × [0; +∞) и потому выпукл, если и только если выпукло множество ???? и замкнут, если и только если ???? замкнуто. Поскольку ????с (????) ≠ −∞ ни для каких ???? и ????, то функция ????с является собственной, если и только если найдется такая точка ????, что ????с (????) ≠ ∞, т.е. если ???? ≠ ∅.
2. Если множество ???? выпукло, то для любого ???? ∈ ri ???? выполнено ???? ????с (????) = (aff ????)⟂, где через (aff ????)⟂ ⊂ Rd обозначено линейное подпространство ковекторов, ортогональных aff ????.
Доказательство. Если aff ???? = Rd, то в любой внутренней точке ???? ∈ int ???? существует производная ????′с(????) = 0, и поэтому ????????с (????) = {0} по теореме 1.1.
3.2 Опорная функция
Индикаторная функция позволяет точно описать произвольное множество С Rd как функцию на Rd. Однако, такое описание чересчур прямолинейно. Намного более изящно можно описать множество С Rd с помощью некоторой функции Rd — на такое описание часто оказывается намного полезнее прямого:
Опорная функция множества С Rd обозначается через ????с (????) = ????(????|????) ∶ Rd → R ̅.
По определению, ????с (????) ≝ supx∈u⟨????, ???? ⟩.
Опорная функция, очевидно, положительно однородна, т.е.
????c(????????) = ????????c( (????), если ???? > 0
Описание множества с помощью его опорной функции имеет множество преимуществ. Однако, надо помнить, что при таком описании теряется часть информации о множестве, если оно не выпукло или не замкнуто, а именно:
1. ????c = ????cl conv c.
Доказательство. Очевидно, ???? ⊂ cl conv ????, поэтому ????c (????) ⩽ ????cl conv c (????) для любого ????. С другой стороны, если зафиксировать ???? ∈ Rd, то ???? ⊂ ????p ≝ {???? ∶ ⟨????, ???? ⟩ ⩽ ????c (????)}. Множество ????p есть замкнутое полупространство. Поскольку множество ????p выпукло, то conv ???? ⊂ ????p, а поскольку множество ????p замкнуто, то cl conv ???? ⊂ ????p.
Поэтому ⟨????, ???? ⟩ ⩽ ????c (????)для всех ???? ∈ cl conv ????, т.е. ???? cl conv c (????) ⩽ c (????), что и требовалось.
С другой стороны, если множество ???? выпукло и замкнуто, то оно может быть однозначно восстановлено по своей опорной функции с помощью взятия субдифференциала. Для того, чтобы это доказать, сначала докажем, что опорная функция является выпуклой замкнутой собственной функцией, а потом вычислим ее субдифференциал.
Предложение 2. Опорная функция ????c является (i) выпуклой при любом ????, (ii) замкнутой при любом ????, (iii) собственной, если и только если ???? ≠ ∅. Если дополнительно cl conv ???? ≠ Rd, то ????(????) ≠ ∞ для некоторого ???? ≠ 0.
Доказательство. Пусть ???? ∈ Rd. Обозначим через ????x ∶ Rd → R линейную функцию ????x (????) = ⟨????, ???? ⟩. Тогда по определению ????c есть поточечный супремум функций ????x по всем ???? ∈ ????: ????c (????) = sup x∈c ????x (????). Надграфик ????c есть пересечение надграфиков функций ????x по всем ???? ∈ ????. Поскольку надграфики функций ????x являются выпуклыми замкнутыми множествами, то таким же является и надграфик ????c и пункты (i) и (ii) доказаны. Докажем теперь пункт (iii). Очевидно, ????∅ ≡ −∞ – несобственная функция. Если ???? ≠ ∅, то ????c (0) = 0, поэтому функция ????c является собственной.
Если же дополнительно cl conv ???? ≠ Rd, то, отделяя любую точку вне cl conv ???? от него самого, мы найдем ковектор ????0 ≠ 0 такой, что sup ????∈cl conv c ⟨????0, ???? ⟩ < ∞, и, значит, ????c (????0) < ∞.
3.3 Функция Минковского
Функция Минковского множества ???? обозначается через4 ????c(????) = ????(???? |????) ∶ Rd → R. По определению, ????c(????) ≝ inf{???? ⩾ 0 ∶ ???? ∈ ????????} (напомним, inf∅ = +∞). Таким образом, ????c(????) – это минимальное число ???? > 0, в которое надо растянуть множество ????, чтобы данная точка ???? в него попала.
Фрагмент для ознакомления
3
1. Алкуса М.С. [и др.]. Ускоренные методы для седловых задач // Журнал вычислительной математики и математической физики. 2020. Т. 60, № 11. С. 1843– 1866.
2. Аржанцев И.В. Базисы Грёбнера и системы алгебраических уравне-ний. М. : МЦНМО, 2003. 4. Арнольд В.И. О преподавании математики // Успехи математических наук. 1998. 53:1(319). С. 229–234.
3. Баймурзина Д.Р. [и др.]. Универсальный метод поиска равновесий и стохастических равновесий в транспортных сетях // Журнал вычислительной математики и математической физики. 2019. Т. 59, № 1. С. 21–36.
4. Бирюков А.Г. Методы оптимизации. Условия оптимальности в экс-тремальных задачах. М. : МФТИ, 2010. 7. Босс В. Лекции по математике. Т. 8. Брэгман Л.М. Релаксационный метод нахождения общей точки выпуклых множеств и его применение для решения задач выпуклого программирова-ния // Журнал вычислит. мат. и мат. физики. 1967. Т. 7, № 3. С. 200–217.
5. Васерштейн Л.Н. Марковские процессы на счетном произведении пространств, описывающие большие системы автоматов // Проблемы пере-дачи информации. 1969. Т. 5:3. C. 64–72.
6. Вентцель Е.С. Теория вероятности. М. : Физматгиз, 1962. 13. Вер-бицкий М.С. Начальный курс топологии в листочках: задачи и теоремы. М. : МЦНМО, 2017. 344 c.
7. Вершик А.М., Спорышев П.В. Асимптотическая оценка среднего числа шагов параметрического симплекс-метода // Ж. вычисл. матем. и ма-тем. физ. 1986. Т. 26, № 6. C. 813–826.
8. Воронцова Е.А., Гасников А.В., Горбунов Э.А. Ускоренные спуски по случайному направлению и безградиентные методы с неевклидовой прокс-структурой // Автоматика и телемеханика. 2019. № 4. С. 126–143. URL: https://arxiv.or g/pdf/1710.00162.pdf
9. Вощинин А.П. Задачи анализа с неопределенными данными – интер-вальность и/или случайность? // Рабочее совещание по интервальной матема-тике и методам распространения ограничений ИМРО’04, Новосибирск, 21-22 июня 2004 г. Труды Международной конференции по вычислительной математике МКВМ2004. Рабочие совещания / Ред.: Ю.И. Шокин, А.М. Федо-тов, С.П. Ковалев, Ю.И. Молородов, А.Л. Семёнов, С.П. Шарый. Новоси-бирск : Изд. ИВМиМГ СО РАН, 2004. С. 147–158.
10. Гасников А.В., Двуреченский П.Е., Камзолов Д.И., Нестеров Ю.Е., Спокойный В.Г., Стецюк П.И., Суворикова А.Л., Чернов А.В. Суперпозиция метода балансировки и универсального градиентного метода для поиска эн-тропийнорегуляризованного барицентра Вассерштейна и равновесий в мно-гостадийных моделях транспортных потоков // Труды МФТИ. 2016. Т. 8, № 3. C. 5–24. URL: https://mipt.ru/upload/medialibrary/6f6/5_24.pdf
11. Гасников А.В., Двуреченский П.Е., Нестеров Ю.Е. Стохастические градиентные методы с неточным оракулом // Труды МФТИ. 2016. Т. 8, № 1. С. 41–91.
12. Гасников А.В., Камзолов Д.И., Мендель М.С. Основные конструк-ции над алгоритмами выпуклой оптимизации и их приложения к получению новых оценок для сильно выпуклых задач // Труды МФТИ. 2016. Т. 8, № 3. С. 25–42. arXiv:1603.07701.
13. Гасников А.В., НестеровЮ.Е. Универсальный метод для задач сто-хастической композитной оптимизации // Журнал вычислит. матем. и матем. физ. 2018. Т. 58, № 1. С. 52–69.
14. Гасников А.В., Тюрин А.И. Быстрый градиентный спуск для задач выпуклой минимизации с оракулом, выдающим (????, ????)-модель функции в за-прошенной точке // Журнал вычислит. матем. и матем. физ. 2019. Т. 59, № 7. С. 1137–1150. 25. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обуче-ние. 2-е изд., испр. М. : ДМК-Пресс, 2018. 345 с.
15. Дикин И.И. Итеративное решение задач линейного и квадратичного программирования // Доклады АН СССР. 1967. Т. 174:4. C. 747–748.
16. Дубовицкий А.Я., Милютин А.А. Задачи на экстремум при наличии ограничений // ЖВМ и МФ. 1965. Т. 5, № 3. С. 395–453. URL: http://www.milyutin .ru/papers.html
17. Зорич В.А. Математический анализ задач естествознания. М. : МЦНМО, 2008. 31. Евтушенко Ю.Г. Оптимизация и быстрое автоматическое дифференцирование. М. : ВЦ РАН, 2013. 144 с.
18. Иванов А.О. Плоские взвешенные минимальные бинарные деревья // Фундамент. и прикл. матем. 1996. № 2. С. 375–409.
19. Канторович Л.В. Об одном эффективном методе решения некото-рых классов экстремальных проблем // Докл. АН СССР. 1940. Т. 28, № 3. С. 212–215.
20. Канторович Л.В. О перемещении масс // Докл. АН СССР. 1942. Т. 37, № 7–8. С. 227–229. 346 с.